Dưới thời nhà Minh và đầu nhà Thanh, việc sản xuất hương được ghi nhận ở các ngôi làng xung quanh Hồng Kông, hiện được gọi là Tân Giới. Trầm hương được vận chuyển, bằng những chiếc thuyền buồm, từ những bến tàu ở cảng Aberdeen của Hồng Kông đến các nơi khác ở Trung Quốc, châu Á và thậm chí đến tận vùng Ả Rập. Vì vậy, những bến cảng ở khu vực Aberdeen, Hồng Kông thường được gọi là "cảng hương trầm" hay "bến cảng thơm" bởi người ghe thuyền bản địa. Có một câu chuyện kể rằng khi quân thực dân Anh đến nơi này vào những năm 1840, họ có thể ngửi thấy mùi những que hương đang cháy; từ đó cái tên bị nhầm lẫn và được áp dụng cho toàn bộ hòn đảo.[3][4]

Trong tiếng Quảng Đông, Aberdeen được biết đến với tên bản địa Hương Cảng tế nghĩa là "Vũng Thơm", trước đó, "Hương Cảng" là tên ban đầu của làng Aberdeen ngày nay.[5] Hương Cảng Thôn (香港村, "làng Hương Cảng") trên đảo Áp Lợi Châu được đề cập trên những bản đồ từ thời Minh triều. Một vi (làng có tường thành bao quanh) khác tên là Hương Cảng Vi ở Hoàng Trúc Khanh cũng được xây dựng dưới thời Càn Long nhà Thanh. Aberdeen còn có tên khác là Thạch Bài Loan (石排灣).

Trong Thế chiến thứ hai, trong suốt thời kỳ Nhật chiếm Hồng Kông (1941–1945), tên Hán ngữ của Aberdeen, Hương Cảng Tể, được đổi sang tiếng Nhật thành Moto Honkon (元香港; Nguyên Hương Cảng), có nghĩa là "Hồng Kông gốc".